Alfred von Waldersee là người con thứ 5 trong 6 người con của Thượng tướng Kỵ binh Phổ Franz Heinrich Graf von Waldersee (1791 – 1873) và Bertha von Hünerbein (1799 – 1859). Franz Heinrich von Waldersee là con trai của Franz Anton von Waldersee (1763 – 1823), người con bất hợp pháp của Leopold III Friedrich Franz, Công tước xứ Anhalt-Dessau (1740 – 1817) với Johanne Eleonore Hoffmeier (1739 – 1816). Tuy vậy, Franz Anton đã được nuôi nấng và giáo dục trong triều đình Anhalt-Dessau, và được phong tước Bá hay Graf vào năm 1786. Điền trang của gia đình Waldersee, Waterneverstorf, tọa lạc tại bờ biển Ban Tích gần Behrensdorf ở bang Schleswig-Holstein của Liên minh Đức.